맞춤형 의학연구 애플리케이션을 위한 개발 환경 구축
ANPANMAN Co.,Ltd.
Jinseob Kim
October 26, 2018
Executive Summary
맞춤형 의학연구 애플리케이션을 위해
마이크로서비스 아키텍처(microservice architecture) 구축
https 보안이 적용된 subdomain 주소 부여
ShinyApps
1. 마이크로서비스 아키텍처
여행용 파우치 장단점
장점
깔끔하다.
치우기 쉽다.
다른 가방으로 옮기기 쉽다.
가방 종류에 구애받지 않는다.
단점
실제 쓸 수 있는 공간이 줄어든다.
분리해서 넣기 귀찮다.
물건 찾을 때 지퍼를 한번 더 열어야 된다.
Microservice 장단점
장점
깔끔하다.
삭제가 쉽다.
다른 컴퓨터에 재설치 쉽다.
컴퓨터/서버 종류에 구애받지 않는다.
단점
실제 쓸 수 있는 용량이 줄어든다.
서비스마다 모듈 만들기 귀찮다.
성능저하 우려
가상머신(Virtual machine) 활용이 대표적.
rshiny DockerFile
FROM ubuntu:latest
RUN sed -i 's/archive.ubuntu.com/mirror.kakao.com/g' /etc/apt/sources.list && \
sed -i 's/security.ubuntu.com/mirror.kakao.com/g' /etc/apt/sources.list && \
sed -i 's/extras.ubuntu.com/mirror.kakao.com/g' /etc/apt/sources.list
MAINTAINER Jinseob Kim "jinseob2kim@gmail.com"
# Setup apt to be happy with no console input
ENV DEBIAN_FRONTEND noninteractive
# Install dependencies and Download
RUN apt-get update && apt-get install -y \
udev \
locales \
software-properties-common \
file \
curl \
git \
sudo \
wget \
gdebi-core \
vim \
psmisc \
tzdata \
libxml2-dev \
libcairo2-dev \
libgit2-dev \
tk-table \
libcurl4-gnutls-dev \
libssl-dev \
libxt-dev \
supervisor && \
apt-get clean && \
rm -rf /var/lib/apt/lists/*
# Prevent bugging us later about timezones
RUN ln -fs /usr/share/zoneinfo/Asia/Seoul /etc/localtime && dpkg-reconfigure --frontend noninteractive tzdata
# Use UTF-8
RUN locale-gen en_US.UTF-8
ENV LANG en_US.UTF-8
# Update R -latest version
RUN echo "deb http://cran.rstudio.com/bin/linux/ubuntu bionic-cran35/" | sudo tee -a /etc/apt/sources.list && \
gpg --keyserver keyserver.ubuntu.com --recv-key E084DAB9 && \
gpg -a --export E084DAB9 | sudo apt-key add - && \
apt-get update && \
apt-get install -y r-base r-base-dev
# Install Rstudio-server
ARG RSTUDIO_VERSION
RUN RSTUDIO_LATEST=$(wget --no-check-certificate -qO- https://s3.amazonaws.com/rstudio-server/current.ver) && \
[ -z "$RSTUDIO_VERSION" ] && RSTUDIO_VERSION=$RSTUDIO_LATEST || true && \
wget -q http://download2.rstudio.org/rstudio-server-${RSTUDIO_VERSION}-amd64.deb && \
dpkg -i rstudio-server-${RSTUDIO_VERSION}-amd64.deb && \
rm rstudio-server-*-amd64.deb
# Install Shiny server
RUN wget --no-verbose https://s3.amazonaws.com/rstudio-shiny-server-os-build/ubuntu-14.04/x86_64/VERSION -O "version.txt" && \
VERSION=$(cat version.txt) && \
wget --no-verbose "https://s3.amazonaws.com/rstudio-shiny-server-os-build/ubuntu-14.04/x86_64/shiny-server-$VERSION-amd64.deb" -O ss-latest.deb && \
gdebi -n ss-latest.deb && \
rm -f version.txt ss-latest.deb && \
R -e "install.packages(c('shiny', 'rmarkdown', 'DT', 'data.table', 'ggplot2', 'devtools', 'epiDisplay', 'tableone', 'svglite', 'plotROC', 'pROC', 'labelled', 'geepack', 'lme4', 'PredictABEL', 'shinythemes', 'maxstat', 'manhattanly', 'Cairo', 'future', 'promises', 'GGally', 'fst', 'blogdown', 'metafor', 'roxygen2'), repos='https://cran.rstudio.com/')" && \
R -e "devtools::install_github(c('jinseob2kim/jstable', 'jinseob2kim/jskm', 'emitanaka/shinycustomloader', 'Appsilon/shiny.i18n', 'metrumresearchgroup/sinew'))"
## User setting
COPY ini.sh /etc/ini.sh
## Github
RUN git config --system credential.helper 'cache --timeout=3600' && \
git config --system push.default simple
## Multiple run
COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf
RUN mkdir -p /var/log/supervisor \
&& chmod 777 -R /var/log/supervisor
EXPOSE 8787 3838
CMD ["/usr/bin/supervisord", "-c", "/etc/supervisor/conf.d/supervisord.conf"]
shiny server 의 한글 지원 문제로 자체 이미지 제작 결정.
docker run --rm -d \
-p 3838:3838 -p 8787:8787 \
-e USER=js -e PASSWORD=js -e ROOT=TRUE\
jinseob2kim/docker-rshiny
–rm -d : 실행 중지시 지움(–rm), 백그라운드 실행(-d)
호스트의 3838포트를 이미지의 3838포트(shiny server)와 연결, 8787포트를 8787포트(rstudio server)에 연결
유저 생성 : js/js, 루트 권한
Docker hub 주소 : jinseob2kim/docker-rshiny
로컬 컴퓨터 - http://localhost:8787, http://localhost:3838 로 접속. 서버 - Your IP:8787, Your IP:3838
서버의 갯수?
서버의 종류와 갯수에 구애받지 않는 마이크로서비스 아키텍처(microservice architecture)…
Server orchestration: 지휘자가 오케스트라 연주하듯이
여러대의 서버를 묶어 마치 하나의 서버를 이용하는 것처럼 느낌.
Docker 에 내장되어 별다른 설치 필요없음.
비슷한 프로그램으로 구글의 Kubernetes
과정
서버들에 Docker 설치
서버들을 묶음: manager 서버와 worker 서버.
manager 서버에서 Docker 이미지를 실행하면 자동으로 한가한 서버에 배치.
- 어떤 서버 주소로 접속해도 실행 가능.
- manager IP:8787, worker IP:8787 모두 OK
Docker가 설치된 2개 서버: manager, worker node
In manager node
- Init Docker Swarm mode
manger_ip = $(123.456.789.10)
docker swarm init --advertise-addr $manager_ip
- Get Swarm tokens
worker_token=$(docker swarm join-token worker -q)
In worker node
- Join worker nodes
docker swarm join --token $worker_token $manager_ip:2377
https://www.youtube.com/watch?v=2RQbpnRxx-Y
주의 (1) - Port setting for swarm
TCP port 2377 for cluster management & raft sync communications
TCP and UDP port 7946 for control plane gossip discovery communication between all nodes
UDP port 4789 for data plane VXLAN overlay network traffic
IP Protocol 50 (ESP) if you plan on using overlay network with the encryption option
AWS Security Group Example
주의 (2)
연결 가능한 서버끼리만 묶을 수 있다.
AWS끼리(O), Azure끼리(O), Digitalocean끼리(O)
AWS와 Azure(X), AWS와 Digitalocean(X)
AWS(Azure, Digitalocean)와 자체서버(X)
서비스 실행: rstudio & shiny server
자체 이미지 docker-rshiny
docker service create \
--publish 8787:8787 \
--publish 3838:3838 \
-e USER=js -e PASSWORD=js -e ROOT=TRUE \
--name rshiny \
jinseob2kim/docker-rshiny
rstudio server: Both IP:8787, shiny server: Both IP:3838
추가: tensorflow docker 실행
docker service create \
--name tf \
--publish 8888:8888\
tensorflow/tensorflow
사용자가 늘어나면?
docker service scale 명령어 이용, 여러 서버에 이미지 설치.
docker service scale rshiny=2
다시 줄이기
docker service scale rshiny=1
base=https://github.com/docker/machine/releases/download/v0.15.0 &&
curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine &&
sudo install /tmp/docker-machine /usr/local/bin/docker-machine
docker-machine version
예: Digital ocean - manager 이름으로 서버 생성
export DIGITALOCEAN_ACCESS_TOKEN=<YOUR_DIGITALOCEAN_ACCESS_TOKEN>
export DIGITALOCEAN_IMAGE="ubuntu-18-04-x64"
export DIGITALOCEAN_REGION="sgp1"
echo "### Creating manager nodes ..."
for c in {1..1} ; do
docker-machine create \
--driver digitalocean \
--digitalocean-access-token $DIGITALOCEAN_ACCESS_TOKEN \
--digitalocean-image $DIGITALOCEAN_IMAGE \
--digitalocean-region $DIGITALOCEAN_REGION \
--digitalocean-size "s-2vcpu-4gb" \
manager$c &&\
docker-machine ssh manager$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done
AWS
- ACCESS_KEY_ID, SECRET_ACCESS_KEY, VPC_ID 필요
- 포트 따로 열어줘야 됨.
export AWS_ACCESS_KEY_ID=<YOUR_AWS_ACEESS_KEY_ID>
export AWS_SECRET_ACCESS_KEY=<YOUR_AWS_SECRET_ACCESS_KEY>
export AWS_INSTANCE_TYPE="t2.micro"
export AWS_INSTANCE_REGION="ap-northeast-2"
export AWS_SECURITY_GROUP="launch-wizard-2"
export AWS_VPC_ID=<YOUR_AWS_VPC_ID>
export AWS_ZONE=c
for c in {1..1} ; do
docker-machine create \
--driver amazonec2 \
--amazonec2-access-key $AWS_ACCESS_KEY_ID \
--amazonec2-secret-key $AWS_SECRET_ACCESS_KEY \
--amazonec2-region $AWS_INSTANCE_REGION \
--amazonec2-vpc-id $AWS_VPC_ID \
--amazonec2-open-port 3838 \
--amazonec2-open-port 8787 \
--amazonec2-open-port 8000 \
--amazonec2-open-port 8080 \
--amazonec2-open-port 2377 \
--amazonec2-open-port 7946 \
--amazonec2-open-port 7946/udp \
--amazonec2-open-port 4789 \
--amazonec2-open-port 4789/udp \
--amazonec2-open-port 8888 \
--amazonec2-open-port 80 \
--amazonec2-open-port 443 \
manager$c && \
docker-machine ssh manager$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done
AZURE
- Subscription id 필요
- 포트 따로 열어줘야 됨.
export sub=<YOUR_AZURE_SUBSCRIPTION_VALUE>
for c in {1..1} ; do
docker-machine create \
--driver azure \
--azure-location "koreacentral" \
--azure-size Standard_B1s \
--azure-subscription-id $sub \
--azure-open-port 3838 \
--azure-open-port 8787 \
--azure-open-port 8000 \
--azure-open-port 8080 \
--azure-open-port 2377 \
--azure-open-port 7946 \
--azure-open-port 7946/udp \
--azure-open-port 4789 \
--azure-open-port 4789/udp \
--azure-open-port 8888 \
--azure-open-port 80 \
--azure-open-port 443 \
manager$c && \
docker-machine ssh manager$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done
묶을 서버 추가오기 : worker node
export DIGITALOCEAN_SIZE="s-1vcpu-1gb"
echo "### Creating worker nodes ..."
for c in {1..1} ; do
docker-machine create \
--driver digitalocean \
--digitalocean-access-token $DIGITALOCEAN_ACCESS_TOKEN \
--digitalocean-image $DIGITALOCEAN_IMAGE \
--digitalocean-region $DIGITALOCEAN_REGION \
--digitalocean-size $DIGITALOCEAN_SIZE \
worker$c && \
docker-machine ssh worker$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done
manager1 과 worker1 노드를 docker swarm를 활용하여 묶자.
# Get IP from leader node
leader_ip=$(docker-machine ip manager1)
# Init Docker Swarm mode
echo "### Initializing Swarm mode ..."
eval $(docker-machine env manager1)
docker swarm init --advertise-addr $leader_ip
# Swarm tokens
manager_token=$(docker swarm join-token manager -q)
worker_token=$(docker swarm join-token worker -q)
# Joinig manager nodes
echo "### Joining manager modes ..."
for c in {1..1} ; do
eval $(docker-machine env manager$c)
docker swarm join --token $manager_token $leader_ip:2377
done
# Join worker nodes
echo "### Joining worker modes ..."
for c in {1..1} ; do
eval $(docker-machine env worker$c)
docker swarm join --token $worker_token $leader_ip:2377
done
# Clean Docker client environment
echo "### Cleaning Docker client environment ..."
eval $(docker-machine env -u)
Problem
- DOMAINNAME:3838, :8787 보여주기 싫다.
/server, /app 으로는 안되나?
server.DOMAINNAME, app.DOMAINNAME 은?
리버스 프록시(reverse proxy) 프로그램이 필요하다.
- nginx 로
/server, /app 가능.
- 도메인 추가:
*.DOMAINNAME
도메인 설정 CNAME에 *.DOMAINNAME를 추가해야 된다.

2. Traefik 용 network 만들기
# Run in manager node
eval $(docker-machine env manager1)
# Create network for swarm
docker network create --driver=overlay traefik-net
# For Let's Encrypt
docker-machine ssh manager1 "DOMAINNAME=anpanman.co.kr && \
mkdir /home/js/opt && \
mkdir /home/js/opt/traefik && \
cd /home/js/opt/traefik && \
touch acme.json && chmod 600 acme.json && \
wget -O traefik.toml https://raw.githubusercontent.com/jinseob2kim/swarm-setting/master/opt/traefik/traefik.toml"
traefik.toml
defaultEntryPoints = ["http", "https"]
logLevel = "INFO"
[api]
dashboard = true
address = ":8080"
[entryPoints]
[entryPoints.http]
address = ":80"
[entryPoints.http.redirect]
entryPoint = "https"
[entryPoints.https]
address = ":443"
[entryPoints.https.redirect]
regex = "^https://anpanman.co.kr/(.*)"
replacement = "https://www.anpanman.co.kr/$1"
permanent = true
[entryPoints.https.tls]
[acme]
email = "jinseob2kim@gmail.com"
storage = "acme.json"
entryPoint = "https"
onHostRule = true
onDemand = false
## *.anpanman.co.kr & anpanman.co.kr should be in DNS "A or CNAME": digitalocean case.
[acme.dnsChallenge]
provider = "digitalocean"
delayBeforeCheck = 0
eval $(docker-machine env manager1)
DOMAINNAME="anpanman.co.kr"
# Create traefik service
docker service create \
--name traefik \
--constraint=node.role==manager \
--publish 80:80 --publish 443:443\
--mount type=bind,source=/var/run/docker.sock,target=/var/run/docker.sock \
--mount type=bind,source=/root/acme.json,target=/acme.json \
--mount type=bind,source=/root/traefik.toml,target=/traefik.toml \
-e DO_AUTH_TOKEN=$DIGITALOCEAN_ACCESS_TOKEN \
-l traefik.port=8080 \
-l traefik.frontend.rule=Host:monitor.$DOMAINNAME\
--network traefik-net \
traefik \
--logLevel=INFO \
--docker \
--docker.swarmMode \
--docker.watch \
--docker.domain=$DOMAINNAME
https://monitor.anpanman.co.kr 에서 dashboard를 볼 수 있다.
서비스 재실행: rstudio & shiny server
Traefik 를 적용하여 재실행하자.
docker service create \
--name rshiny \
--label traefik.shiny.port=3838 \
--label traefik.rstudio.port=8787 \
--label traefik.shiny.frontend.rule="Host:app.$DOMAINNAME" \
--label traefik.rstudio.frontend.rule="Host:server.$DOMAINNAME" \
-e USER=js -e PASSWORD=js -e ROOT=TRUE \
--network traefik-net \
jinseob2kim/docker-rshiny
https://server.anpanman.co.kr 에서 rstudio server를, https://app.anpanman.co.kr 에서 shiny server를 실행할 수 있다.
사용 후기: (9월 말)
Docker swarm 은 오버.
서비스 24시간 계속 실행 필요?
서버 하나 먹통되더라도 서비스 유지 필수?
대규모 프로젝트?
가내수공업은 Docker 로 충분.
현재
3. 의학연구용 ShinyApps 만들기
주 활용 패키지
데이터: data.table, DT
통계분석: tableone, epiDisplay, survival, geepack, lme4, plotROC, pROC
Plot: ggplot2, GGally, svglite
패키지: devtools, roxygen2
Shiny: shinycustomloader, shiny.i18n
library(DT)
datatable(iris, extension= "Buttons", rownames = F,
options = list(dom = '<lf<rt>Bip>', lengthMenu = list(c(10, 25, -1), c('10', '25', 'All')), pageLength = 10,
buttons = list('copy', 'print',
list(extend = 'collection',
buttons = list(list(extend = 'csv', filename= "table"),
list(extend = 'excel', filename= "table"),
list(extend = 'pdf', filename= "table")
),
text = 'Download')
)
)
) %>%
formatStyle('Sepal.Length', fontWeight = styleInterval(5, c('normal', 'bold'))) %>%
formatStyle(
'Sepal.Width',
color = styleInterval(c(3.4, 3.8), c('white', 'blue', 'red')),
backgroundColor = styleInterval(3.4, c('gray', 'yellow'))
) %>%
formatStyle(
'Petal.Length',
background = styleColorBar(iris$Petal.Length, 'steelblue'),
backgroundSize = '100% 90%',
backgroundRepeat = 'no-repeat',
backgroundPosition = 'center'
) %>%
formatStyle(
'Species',
transform = 'rotateX(45deg) rotateY(20deg) rotateZ(30deg)',
backgroundColor = styleEqual(
unique(iris$Species), c('lightblue', 'lightgreen', 'lightpink')
)
)
앱 실행 중 로딩 보여주기.
실행이 오래걸리는 앱일 때 필요.
Label
데이터의 변수명, 값 \(\neq\) 테이블/그림의 변수명, 값
Label data 생성하고 통계결과와 그림에 적용: 자체 패키지 jstable

Table 1: tableone package
Main results
- Regression, logistic regression, cox :
epiDisplay 패키지 기반으로 결과테이블 생성
## Log-likelihood = -139.806
## No. of observations = 248
## AIC value = 285.612
Plot
GGally : ggpair 함수로 변수 비교
svglite : svg 포맷으로 그림 저장하여 ppt에서 수정 가능.
Kaplan meire plot: ggkm 패키지 기반으로 자체 패키지 jskm 사용

Q & A